Kiyomizu-dera được thành lập vào cuối thời kỳ Nara.[2] Ngôi chùa được được một nhà sư là Enchin (延鎮 (Diên Trấn), Enchin?) trụ trì thành lập và xây dựng năm 778, tuy nhiên, chùa nhiều lần bị cháy, và những kiến trúc hiện nay của chùa được xây từ năm 1633, theo lệnh của Tokugawa Iemitsu.[3] Không có chiếc đinh nào được sử dụng trong toàn bộ cấu trúc của chùa. Kiyomizu-dera được lấy tên dựa theo thác nước đơn lẻ chảy ra khỏi ngọn núi gần đó, trong đó, Kiyomizu mang nghĩa thanh thuỷ - dòng nước trong lành, hoặc dòng nước tinh khiết.[4][5]

Ban đầu, ngôi chùa được liên kết với môn phái Hossō - tên gọi tiếng Nhật của một nhánh Duy Thức tông ở vùng Đông Á - bắt đầu từ thời kỳ Nara.[6] Tuy nhiên, mối liên kết này bị huỷ bỏ vào năm 1965, và những trụ trì hiện tại của chùa tự nhận mình là môn đồ của phái "Kitahossō" (北法相宗 - Bắc Pháp Tướng tông).[7]